TreeWY: Speculative Verification for Gated DeltaNet Hybrids
TreeWY：Gated DeltaNet 混合模型的树结构投机验证
🧭 LLM 推理 · 投机解码状态压缩 ★ 深度解读
Thomson Reuters
用树结构 WY 变换消除 GDN 投机验证的逐节点状态快照，单次三角求解验证整棵草案树并只重建接受态
📌 工作参考价值（3 点）
- 如果在线上部署 Qwen3.5 这类 GDN+softmax hybrid 模型做推荐理由、广告文案、Agent 回复生成，开启 speculative decoding 前先检查 vLLM/SGLang 的 GDN 状态管理策略：默认 store-all 会在每个 draft 位置存完整 recurrent state，高并发下状态池/KV 池先爆；TreeWY / ReplaySSM 这类只存伪值或延迟物化状态的方法能把每请求状态块从 N+1 降到 1，直接抬高 admission batch。
- 工程选择上，chain 草案可以融合成 CUDA graph kernel，保持低 per-step overhead；树形草案目前会破坏 graph capture，导致 piecewise 执行，虽然接受长度提升但吞吐不一定划算。业务上先用 chain+MTP 拿稳健收益，树宽等框架融合优化后再上。
- 对 Agent 系统长会话/多请求并发，p99 TTFT 是用户感知关键指标。TreeWY 在 memory-bound 场景把 p99 TTFT 最高降约 40×（35B, 128 concurrency, gmu 0.6），因为不排队；若高峰期 KV 池饱和度常超过 80%，这类状态压缩比 draft 算法本身更影响尾延迟。